Judging the Justification: Decision Certificate Supervision for Generative Reward Models
判定理由：面向生成式奖励模型的决策证书监督
🧭 生成式奖励模型训练与理由质量监督
University of Connecticut · NEC Labs America
提出 DeCert 框架，用决策证书评估 rationale 有效性与一致性，构造偏好对训练生成式奖励模型
📌 工作参考价值（4 点）
- 在电商/广告中若用 LLM 生成推荐理由或广告解释，不要仅用最终点击/转化标签微调，可采样多个解释，用自动设计的 certificate（validity + verdict consistency）打分，构造偏好对进行 DPO 训练，让模型区分解释质量。
- 无需人工标注 rationale 参考，节省成本；可对线上 LLM-as-a-judge 的评估结果自动构造 rationale 偏好数据，提升判断一致性。
- DeCert 显著缓解 position bias，可将训练后的 judge 用于搜索结果、推荐列表的 pairwise 评估，减少位置对判断的干扰，提升评估可信度。
- 对于生成式推荐（如直接生成商品描述/推荐理由），可将 verdict 正确性与 justification 质量解耦监督，避免“蒙对结论但给错理由”，提高用户信任和转化。